use shell helpers to condense output

only print PATH warning once

don't print summary of single crate install

support installing multiple crates

make SourceConfigMap cloneable

update test

old commit adding some support for multi-install

Auto merge of #4201 - alexcrichton:more-human, r=matklad

Flag crate registry errors as "human"

They often contain useful information!

Closes #4200

Auto merge of #4202 - dethoter:issue-4199, r=alexcrichton

Fix an incorrect merge of credentials. Add a new test for that.

Fix for #4199.

Fix an incorrect merge of credentials. Add a new test for that.

Flag crate registry errors as "human"

They often contain useful information!

Closes #4200

Auto merge of #4196 - gilescope:multiline_assert, r=alexcrichton

Multiline assert

Found a second location where multiline assert_eq failure breaks a test.
This is an extention of #4181.

Auto merge of #4180 - pnkfelix:issue-4135, r=alexcrichton

Issue 4135: include = [...] should override git file list

Fix #4135: if theres `include = [...]`, then do not prepopulate file list via git.

Merge branch 'master' into multiline_assert

Regression test for issue #4135.

Prep for asser_eq failure msg format change.

Auto merge of #4190 - alexcrichton:wincosole-fix, r=alexcrichton

Update wincolor

Helps mitigate #4189

Update wincolor

Helps mitigate #4189

Auto merge of #4181 - gilescope:patch-1, r=alexcrichton

Make test less brittle prior to assert_eq failure message format change

PR required for rust-lang/rust#42541 to make assert_eq error message be multi-line. Before implementing this we need to make the current test less brittle.
Not 100% clear on if I need the final [...] or not.

Fixing test failure

Auto merge of #4182 - matklad:simplify, r=alexcrichton

Simplify inferred binary names

Fix for https://github.com/rust-lang/rust/issues/42365, which probably breaks other stuff :(

Auto merge of #4185 - ids1024:typo, r=Mark-Simulacrum

Fix typo in comment

Fix typo in comment

Fix test on windows

Backslashes here are escaped (\\), so [/] does not really help :(

Auto merge of #4178 - nrc:shell, r=alexcrichton

Support having a generic writer instead of a termcolor StandardStream

This is requied by the RLS (and presumably any other client who wants to use Cargo as a lib and redirect output)

r? @alexcrichton

Support having a generic writer instead of a termcolor StandardStream

This is requied by the RLS (and presumably any other client who wants to use Cargo as a lib and redirect output)

Don't search bins in src if there's a library

Ideally we want not to search for binaries there in any case, but that's
probably not gonna happen due to backwards comparability.

Simplify inferred binary names

Make test less brittle prior to assert_eq failure message format change

PR #42541 on Rust is to make assert_eq error message be multi-line. Before implementing this we need to make the current test less brittle.

Fix #4135: if theres `include = [...]`, then dont prepopulate filelist via git

Factor search for sibling Cargo.toml and .git folder into separate subroutine.

assert_eq failure message now multi-line related to rust pull request 42541.

Auto merge of #4125 - alexcrichton:rerun-if-env-changed, r=matklad

Implement `cargo:rerun-if-env-changed=FOO`

This commit implements a new method of rerunning a build script if an
environment variable changes. Environment variables are one of the primary
methods of giving inputs to a build script today, and this'll help situations
where if you change an env var you don't have to remember to clean out an old
build directory to ensure fresh results.

Closes #2776

Auto merge of #4176 - alexcrichton:atty, r=matklad

Use the `atty` crate for TTY detection

This is more robust in the face of msys terminals and otherwise helps share more
dependencies!

Closes #4166

Use the `atty` crate for TTY detection

This is more robust in the face of msys terminals and otherwise helps share more
dependencies!

Closes #4166

Implement `cargo:rerun-if-env-changed=FOO`

This commit implements a new method of rerunning a build script if an
environment variable changes. Environment variables are one of the primary
methods of giving inputs to a build script today, and this'll help situations
where if you change an env var you don't have to remember to clean out an old
build directory to ensure fresh results.

Closes #2776

Auto merge of #4167 - alexcrichton:keep-metadata, r=matklad

Preserve `package.metadata` when packaging

Now that we use Serde this is actually trivial to implement!

Closes #4142

Auto merge of #4168 - alexcrichton:more-metadata, r=alexcrichton

Hash `Kind` in metadata for crates

This fixes what is now a bug in Cargo discovered when attempting to land
rust-lang/rust#42495 where Cargo will compile both host and target artifacts
with the same `-C metadata` flag. This means that the compile can load two
crates with the same SVH that are supposed to be distinct, which causes weird
bugs with crate loading and whatnot.

This commit throws in the `Kind` into the metadata calculation to resolve this
to ensure that host/target artifacts always have a different `-C metadata`

Hash `Kind` in metadata for crates

This fixes what is now a bug in Cargo discovered when attempting to land
rust-lang/rust#42495 where Cargo will compile both host and target artifacts
with the same `-C metadata` flag. This means that the compile can load two
crates with the same SVH that are supposed to be distinct, which causes weird
bugs with crate loading and whatnot.

This commit throws in the `Kind` into the metadata calculation to resolve this
to ensure that host/target artifacts always have a different `-C metadata`

Preserve `package.metadata` when packaging

Now that we use Serde this is actually trivial to implement!

Closes #4142

Auto merge of #4162 - alexcrichton:termcolor, r=matklad

Migrate from the `term` crate to `termcolor`

The API of `termcolor` fits what the system gives us much more nicely and should
be well battle-tested from ripgrep. Additionally we don't really need huge
terminfo parsers, that wasn't every really the intention of the color support
here.

Auto merge of #4155 - ketralnis:fossil, r=alexcrichton

Add fossil VCS support to `cargo new`

Fossil is a simple, high-reliability, distributed software configuration management system <https://www.fossil-scm.org/>

I mostly followed https://github.com/rust-lang/cargo/pull/3842 as a template. Like that one, this only adds support for `cargo new`, not for pulling down fossil-hosted dependencies

A problem that i didn't tackle but I'd be willing to is a little more more `trait`ifying of the VCSs. I would need some guidance on that since it looks like git has some more thorough support than e.g. hg does but it looks pretty doable

Auto merge of #4159 - matklad:arch, r=alexcrichton

Blurb about Cargo inner workings

Hi!

At today's dev tools meetings we've discussed how we can foster contributions to rust dev tools, and I've complained that some tools are difficult to contribute to because it's difficult to learn how they work because there are no docs, and some other people complained that Cargo is difficult to contribute to because it is rather complex. And, as a member of Cargo team, I thought that I am probably responsible for fixing that :)

So, here's my take at making it easier to dive in into Cargo! I've written a small birds eye overview of the current architecture of Cargo (more like a list of things to look at while reading the code actually :)

In general, I am skeptical about documenting internals of binaries (docs will become obsolete, and very fast), but such a high level picture should be pretty robust (I deliberately avoided linking to the actual source code), and so pretty low-effort to maintain. We do something similar for IntelliJ Rust: https://github.com/intellij-rust/intellij-rust/blob/master/ARCHITECTURE.md as well.

r? @alexcrichton

Auto merge of #4158 - stepancheg:hg-ignore, r=alexcrichton

Generate .hgignore with syntax:glob

Fixes #4005

Migrate from the `term` crate to `termcolor`

The API of `termcolor` fits what the system gives us much more nicely and should
be well battle-tested from ripgrep. Additionally we don't really need huge
terminfo parsers, that wasn't every really the intention of the color support
here.

Auto merge of #4149 - ordian:master, r=alexcrichton

Drop rustc-serialize dependency

Fixes #3944.

Auto merge of #3978 - dethoter:separated-credentials, r=alexcrichton

Move API token into the separate file.

Fix of #3748. BTW, it's not clear what to do with old config.
Should I add a check for old config and try to remove [repository.token] field from it every time user add a new token?
Or should I just prefer to use a token field from a new config over the old one?

Fix typos and reword slightly

Auto merge of #4163 - alexcrichton:update, r=alexcrichton

Update dependencies

Brings in a few fixes for Windows-related dependencies

Update dependencies

Brings in a few fixes for Windows-related dependencies

Blurb about Cargo inner workings

Generate .hgignore with syntax:glob

Fixes #4005

Add fossil VCS support to `cargo new`

Fossil is a simple, high-reliability, distributed software configuration
management system <https://www.fossil-scm.org/>

Update a credentials file format. Implement tests for login command.

Revert "Credentials for multiple hosts."

This reverts commit 29960d2528e65208dacef21252556a2415f87ad7.

Drop rustc-serialize dependency

Auto merge of #4146 - alexcrichton:bump, r=alexcrichton

Bump to 0.21.0

We're working on the next version now!

Bump to 0.21.0

We're working on the next version now!

Auto merge of #4145 - rust-lang:matklad-patch-1, r=alexcrichton

Fix flaky test

closes #4144.

Fix flaky test

Auto merge of #4141 - Keruspe:master, r=alexcrichton

update git2

Fixes build with libressl

update git2

Fixes build with libressl

Signed-off-by: Marc-Antoine Perennou <Marc-Antoine@Perennou.com>

Auto merge of #4139 - Keruspe:master, r=alexcrichton

Include rustc version in metadata

Followup to #4134
Fixes https://github.com/rust-lang/rust/issues/42483

Auto merge of #4137 - tshepang:immutable, r=alexcrichton

binding does not need to be mutable

Auto merge of #4062 - huntiep:master, r=alexcrichton

Load local git name/email for cargo init

Fixes #3920

Include rustc version in metadata

Signed-off-by: Marc-Antoine Perennou <Marc-Antoine@Perennou.com>

Auto merge of #4138 - alexcrichton:fix-tests, r=alexcrichton

Fix tests on beta

Had a few usages of `-Z` leak out of the nightly channel.

Fix tests on beta

Had a few usages of `-Z` leak out of the nightly channel.

binding does not need to be mutable

Add test for local gitconf

Auto merge of #4126 - malbarbo:bump-jobserver, r=alexcrichton

Bump jobserver to 0.1.4

Bump jobserver to 0.1.4

Auto merge of #4118 - alexcrichton:hamt, r=matklad

Optimize a slew of Cargo internals

Cargo has historically had very little optimization applied to it. Despite that it's pretty speedy today but there's always a desire to be faster! I've noticed Cargo being particularly sluggish on projects like Servo and rust-lang/rust, so I started profiling and found quite a few low-hanging fruit!

This PR is a slew of optimizations across Cargo for various things found here and there. The banner optimizations are:

* Resolution with a lock file should be basically a noop in terms of execution time now. An optimization was done to avoid cloning `Context` unless necessary, and that basically means it doesn't get cloned now! As the number 1 source of slowdown in Cargo this is the biggest improvement.
* Lots of pieces in `resolve` are now `Rc<T>` for being more easily cloneable.
* `Summary` now internally contains an `Rc` like `Dependency`, making it much more quickly cloneable.
* `Registry` as a trait no longer returns a `Vec` but rather takes a closure to yield summaries up, removing lots of intermediate arrays.
* We no longer spawn a thread for all units of "fresh work", only when we're about to spawn a process.

Almost everything here was guided through profiling `./x.py build` on rust-lang/rust or `cargo build -p log` on Servo. Both of these stress "noop resolution" and the former also stresses noop builds.

Runs of `./x.py build` dropped from 4 to 2 seconds (with lots of low-hanging fruit still remaining in Cargo itself) and `cargo build -p log` dropped from 1.5s to 0.3s. Massif graphs showing Cargo's memory usage also show that the peak memory usage of Cargo in a noop build of Servo dropped from 300MB to 30MB during resolution.

I'm hoping that none of these optimizations makes the code less readable and/or understandable. There are no algorithmic improvements in this PR other than those transitively picked up by making clones cheaper and/or allocating less.

Fix tests

Remove the RefCell from `PackageRegistry`

Some choice refactoring makes it no longer necessary!

Comment about `Clone` on Context

Type alias `activations` to consolidate definition

Avoids duplicating tons of maps!

Remove stray Registry impls

They're basically barely used now anyway.

Avoid stack overflow when dropping RcList

Turn recursion into a loop

Remove `Clone` for a struct we don't want cloned

It's super expensive to clone a `Resolve` and the resolution implementation no
longer needs to do so, let's remove the impl.

Reorganize `PackageRegistry::query` a bit

Less branches and more intuitive flow.

Remove DependencyInner as a public API

No need for it to be exposed any more, let's just use `Rc::make_mut`
judiciously.

Cache `Context::target_filenames`

Relatively expensive to calculate, never changes, easy to add a cache!

Don't spawn threads for fresh work

On "fresh" builds this ends up just wasting a lot of time!

Remove more allocatoins in index querying

Removing some allocations arounds the stored hashes by having nested hash maps
instead of tuple keys. Also remove an intermediate array when parsing
dependencies through a custom implementation of `Deserialize`. While this
doesn't make this code path blazingly fast it definitely knocks it down in the
profiles below other higher-value targets.

Cut down allocations in Display impls

Avoid unnecessary `String` allocations in hot paths that get run a lot for large
graphs.

Optimize allocations in the registry index

Avoid some unnecessary clones, `to_vec`, etc. Not super optimizal but improves
the profile here regardless.

Optimize the interface of `Registry`.

Previously all intermediate stages would create and return `Vec<Summary>`, but
this is a pretty costly operation once you start layering. Ideally we'd use an
iterator-based approach here but working with that in trait objects is
difficult, so this commit takes a closure-based approach to avoid all the
intermediate allocations that are thrown away.

Try to not allocate when decoding registry json

There's a few keys we don't need owned versions of, so try using Serde's
zero-copy deserialization where we can.

Use `Rc::make_mut` in `Dependency`

Follow the same pattern with `Summary`

Make `Summary::clone` cheap with an inner `Rc`

This already happens in a few other places in Cargo (e.g. `Dependency`) and
`Summary` cloning turned up high in the profile, so let's make it cheaper.

Optimize resolution by removing allocations

This commit is a relatively serious optimization pass of the resolution phase in
Cargo, targeted at removing as many allocations as possible from this phase.
Executed as an iterative loop this phase of Cargo can often be costly for large
graphs but it's run on every single build!

The main optimization here is to avoid cloning the context and/or pushing a
backtracking frame if there are no candidates left in the current list of
candidates. That optimizes a fast-path for crates with lock files (almost all of
them) and gets us to the point where cloning the context basically disappears
from all profiling.

Auto merge of #4119 - fabricedesre:patch-1, r=alexcrichton

Fix typo in argument name.

Fix typo in argument name.

Auto merge of #4110 - alexcrichton:jobserver, r=matklad

Add a GNU make jobserver implementation to Cargo

This commit adds a GNU make jobserver implementation to Cargo, both as a client
of existing jobservers and also a creator of new jobservers. The jobserver is
actually just an IPC semaphore which manifests itself as a pipe with N bytes
of tokens on Unix and a literal IPC semaphore on Windows. The rough protocol
is then if you want to run a job you read acquire the semaphore (read a byte on
Unix or wait on the semaphore on Windows) and then you release it when you're
done.

All the hairy details of the jobserver implementation are housed in the
`jobserver` crate on crates.io instead of Cargo. This should hopefully make it
much easier for the compiler to also share a jobserver implementation
eventually.

The main tricky bit here is that on Unix and Windows acquiring a jobserver token
will block the calling thread. We need to either way for a running job to exit
or to acquire a new token when we want to spawn a new job. To handle this the
current implementation spawns a helper thread that does the blocking and sends a
message back to Cargo when it receives a token. It's a little trickier with
shutting down this thread gracefully as well but more details can be found in
the `jobserver` crate.

Unfortunately crates are unlikely to see an immediate benefit of this once
implemented. Most crates are run with a manual `make -jN` and this overrides the
jobserver in the environment, creating a new jobserver in the sub-make. If the
`-jN` argument is removed, however, then `make` will share Cargo's jobserver and
properly limit parallelism.

Closes #1744

Add a GNU make jobserver implementation to Cargo

This commit adds a GNU make jobserver implementation to Cargo, both as a client
of existing jobservers and also a creator of new jobservers. The jobserver is
actually just an IPC semaphore which manifests itself as a pipe with N bytes
of tokens on Unix and a literal IPC semaphore on Windows. The rough protocol
is then if you want to run a job you read acquire the semaphore (read a byte on
Unix or wait on the semaphore on Windows) and then you release it when you're
done.

All the hairy details of the jobserver implementation are housed in the
`jobserver` crate on crates.io instead of Cargo. This should hopefully make it
much easier for the compiler to also share a jobserver implementation
eventually.

The main tricky bit here is that on Unix and Windows acquiring a jobserver token
will block the calling thread. We need to either way for a running job to exit
or to acquire a new token when we want to spawn a new job. To handle this the
current implementation spawns a helper thread that does the blocking and sends a
message back to Cargo when it receives a token. It's a little trickier with
shutting down this thread gracefully as well but more details can be found in
the `jobserver` crate.

Unfortunately crates are unlikely to see an immediate benefit of this once
implemented. Most crates are run with a manual `make -jN` and this overrides the
jobserver in the environment, creating a new jobserver in the sub-make. If the
`-jN` argument is removed, however, then `make` will share Cargo's jobserver and
properly limit parallelism.

Closes #1744

Auto merge of #4117 - brson:vs2017, r=alexcrichton

Update gcc crate for MSVC 2017

This is just a slightly more correct version of the gcc crate, but shouldn't have any practical changes.

Auto merge of #4116 - alexcrichton:enotsupp, r=Mark-Simulacrum

Ignore ENOTSUP in file locking on Linux too

Apparently there are some filesystems that return this!

Closes #4096

Update gcc crate for MSVC 2017

Ignore ENOTSUP in file locking on Linux too

Apparently there are some filesystems that return this!

Closes #4096